这项工作侧重于特定于域的加速器的有效敏捷设计方法。我们采用垂直开发堆栈的功能逐个功能增强，并将其应用于TVM / VTA推理加速器。我们已经增强了VTA设计空间，并启用了用于额外工作负载的端到端支持。这是通过增强VTA微架构和指令集架构（ISA）来实现的，以及通过增强TVM编译堆栈来支持各种VTA配置。 VTA TSIM实现（基于凿子）已通过ALU / GEMM执行单元的完全流水线版本增强。在TSIM中，内存宽度现在可以在8-64字节之间。对于支持较大的刮板，已经使场宽度更加灵活。已添加新的说明：元素 - WISE 8位乘法，支持深度卷积，并使用焊盘值的选择加载以支持最大池。还添加了对更多层和更好的双缓冲。完全管制的ALU / GEMM有助于显着帮助：4.9倍的循环较少，最小区域更改为在默认配置下运行RESET-18。可以实例化特征在于11.5倍的循环计数的配置，以12倍的循环计数更大的区域。显示了区域性能帕累托曲线上的许多点，展示了执行单元尺寸，内存接口宽度和刻痕尺寸的余额。最后，VTA现在能够运行MobileNet 1.0和所有层进行Resnet，包括先前禁用的池和完全连接的图层。 TVM / VTA架构始终在几分钟内以RTL呈现端到端工作量评估。通过我们的修改，它现在提供了更大的可行配置，具有广泛的成本与性能。所有提到的所有功能都可以在OpenSource叉中提供，而这些功能的子集已经上游。

Transformer layers, which use an alternating pattern of multi-head attention and multi-layer perceptron (MLP) layers, provide an effective tool for a variety of machine learning problems. As the transformer layers use residual connections to avoid the problem of vanishing gradients, they can be viewed as the numerical integration of a differential equation. In this extended abstract, we build upon this connection and propose a modification of the internal architecture of a transformer layer. The proposed model places the multi-head attention sublayer and the MLP sublayer parallel to each other. Our experiments show that this simple modification improves the performance of transformer networks in multiple tasks. Moreover, for the image classification task, we show that using neural ODE solvers with a sophisticated integration scheme further improves performance.

我们提供了证据表明，学到的密度功能理论（``dft'）的力场已准备好进行基态催化剂发现。我们的关键发现是，尽管预测的力与地面真相有很大差异，但使用从超过50 \％的评估系统中使用RPBE功能的能量与使用RPBE功能相似或较低能量的力量的力量与使用RPBE功能相似或较低的力量放松。这具有令人惊讶的含义，即学习的潜力可能已经准备好在挑战性的催化系统中替换DFT，例如在Open Catalyst 2020数据集中发现的电位。此外，我们表明，在局部谐波能量表面上具有与目标DFT能量相同的局部谐波能量表面训练的力场也能够在50 \％的情况下找到较低或相似的能量结构。与在真实能量和力量训练的标准模型相比，这种``简易电位''的收敛步骤更少，这进一步加速了计算。它的成功说明了一个关键：即使模型具有高力误差，学到的电位也可以定位能量最小值。结构优化的主要要求仅仅是学到的电位具有正确的最小值。由于学到的电位与系统大小的速度快速且尺寸为线性，因此我们的结果开辟了快速找到大型系统基础状态的可能性。

机器学习（ML）研究通常集中在模型上，而最突出的数据集已用于日常的ML任务，而不考虑这些数据集对基本问题的广度，困难和忠诚。忽略数据集的基本重要性已引起了重大问题，该问题涉及现实世界中的数据级联以及数据集驱动标准的模型质量饱和，并阻碍了研究的增长。为了解决此问题，我们提出Dataperf，这是用于评估ML数据集和数据集工作算法的基准软件包。我们打算启用“数据棘轮”，其中培训集将有助于评估相同问题的测试集，反之亦然。这种反馈驱动的策略将产生一个良性的循环，该循环将加速以数据为中心的AI。MLCommons协会将维护Dataperf。

语言模型是通过有限的输入集定义的，当我们尝试扩展支持语言的数量时，该输入会产生词汇瓶颈。解决此瓶颈会导致在嵌入矩阵中可以表示的与输出层中的计算问题之间的权衡。本文介绍了基于像素的语言编码器Pixel，这两个问题都没有遭受这些问题的影响。 Pixel是一种验证的语言模型，可将文本作为图像呈现，使基于拼字法相似性或像素的共激活的语言传输表示形式。 Pixel经过训练可以重建蒙版贴片的像素，而不是预测令牌上的分布。我们在与BERT相同的英语数据上为8600万参数像素模型预告，并对包括各种非拉丁语脚本在内的类型上多样化的语言中的句法和语义任务进行了评估。我们发现，Pixel在预读取数据中找不到的脚本上的句法和语义处理任务大大优于BERT，但是在使用拉丁文脚本时，Pixel比BERT稍弱。此外，我们发现像素对嘈杂的文本输入比bert更强大，进一步证实了用像素建模语言的好处。

可靠的评估基准是为了可复制性和全面性而设计的，在机器学习方面取得了进步。但是，由于缺乏多语言基准，视觉和语言研究主要集中在英语任务上。为了填补这一空白，我们介绍了图像的语言理解评估基准。 Iglue通过汇总已有的数据集并创建新的数据来汇集 - 视觉问题回答，跨模式检索，扎根的推理以及跨20种不同语言的扎根成本。我们的基准测试能够评估多语言多模型用于转移学习的模型，不仅在零弹位设置中，而且还以新定义的少数图学习设置。根据对可用最新模型的评估，我们发现翻译测试转移优于零弹性转移，并且对于许多任务而言，很难利用射击的学习。此外，下游性能部分用可用的未标记文本数据进行预处理来解释，并且仅通过目标源语言的类型学距离而微弱。我们希望通过向社区释放基准来鼓励该领域的未来研究工作。

在科学研究界，大脑中的记忆信息通常被认为储存在突触中 - 这是一个着名的假设归因于心理学家唐纳德Hebb。然而，存在少数少数群体，在分子（RNA或DNA）水平的神经元内储存内存的少数群体 - 一种称为细胞内在假设的替代假设，由心理学家Randy Gallistel创造。在本文中，我们审查了来自论证双方的关键实验证据。我们从Eric Kandel关于海绵的研究开始，这提供了第一个支持突触假设的证据。接下来，我们触及John O'Keefe（陈述内存和海马）和Joseph Ledoux（程序恐惧记忆和Amygdala）的小鼠实验。然后，我们将突触介绍为当今人工智能神经网络的基本构建块。在此之后，我们描述了大卫格兰茨曼在海绵中解离记忆储存和突触变化的研究，以及Susumu Tonegawa在使用激光使用激光器重新激活逆行失忆的实验。从那里，我们突出了Sigund Hesslow在雪貂的条件暂停的实验，Beatrice Gelber在没有突触的单细胞生物体中的调理实验（ParameCium Aurelia）。随后是David Glanzman的描述，使用RNA在海块之间移植内存的实验。最后，我们概述了Brian Dia和Kerry Ressler对父母从父母到后代的小鼠的DNA转移的实验。我们得出结论，对更广泛的心理领域的一些潜在影响。

紧急车辆（EMV）在城市对诸如医疗紧急情况和消防疫情等时间关键事件的回应中发挥着关键作用。现有的降低EMV旅行时间的方法采用路由优化和流量信号在不占路由这两个子问题之间的耦合的情况下。结果，计划的路线通常变得次优。此外，这些方法也不关注最大限度地减少对整体交通流量的干扰。为了解决这些问题，我们在本文中介绍了EMVlight。这是一个分散的加强学习（RL）框架，用于同时动态路由和流量信号控制。 EMVlight扩展了Dijkstra的算法，以便在运行流量网络时实时更新EMV的最佳路由。因此，分散的RL代理学习网络级协同业务信号相位策略，从而减少了网络中非EMV的平均旅行时间和平均旅行时间。我们对综合性和现实世界地图进行了全面的实验，以证明这种好处。我们的研究结果表明，EMVlight优于基准运输工程技术以及现有的基于RL的流量信号控制方法。

紧急车辆（EMV）在应对诸如市区的医疗紧急情况和火灾爆发等时间关键事件方面起着至关重要的作用。 EMV花费在交通中旅行的时间越多，越有助于挽救人们的生命并减少财产损失的可能性就越大。为了减少EMV的旅行时间，先前的工作已根据历史流量流数据和基于最佳路线的流量信号进行优化。但是，流量信号的预先避免动态更改流量，从而改变了EMV的最佳路线。此外，交通信号的先发制人通常会导致交通流量的重大干扰，并随后增加非EMV的旅行时间。在本文中，我们提出了EMVLIGHT，这是一个分散的增强学习（RL）框架，用于同时动态路由和交通信号控制。 EMVLIGHT扩展了Dijkstra的算法，以实时更新EMV的最佳路由，因为它通过流量网络传播。分散的RL代理学习网络级的合作交通信号阶段策略，这些策略不仅减少EMV旅行时间，而且还减少了网络中非EMV的平均旅行时间。通过合成和现实世界地图的全面实验证明了这一好处。这些实验表明，EMVLIGHT优于基准运输工程技术和现有的基于RL的信号控制方法。

We develop and study new adversarial perturbations that enable an attacker to gain control over decisions in generic Artificial Intelligence (AI) systems including deep learning neural networks. In contrast to adversarial data modification, the attack mechanism we consider here involves alterations to the AI system itself. Such a stealth attack could be conducted by a mischievous, corrupt or disgruntled member of a software development team. It could also be made by those wishing to exploit a ``democratization of AI'' agenda, where network architectures and trained parameter sets are shared publicly. We develop a range of new implementable attack strategies with accompanying analysis, showing that with high probability a stealth attack can be made transparent, in the sense that system performance is unchanged on a fixed validation set which is unknown to the attacker, while evoking any desired output on a trigger input of interest. The attacker only needs to have estimates of the size of the validation set and the spread of the AI's relevant latent space. In the case of deep learning neural networks, we show that a one neuron attack is possible - a modification to the weights and bias associated with a single neuron - revealing a vulnerability arising from over-parameterization. We illustrate these concepts using state of the art architectures on two standard image data sets. Guided by the theory and computational results, we also propose strategies to guard against stealth attacks.